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Оценка интерфейсов тестовых систем 
электронных учебников 


В статье рассматривается проблема оценки интерфейсов систем тестирования электронных учебников. 
Производится сравнение интерфейсов двух электронных учебников с помощью количественного метода 
СОМ$. Приводятся результаты расчета, обсуждаются варианты интерфейсов систем тестирования знаний 
электронных учебников. 


Введение 


На данный момент существует огромное количество методов анализа пользова- 
тельских интерфейсов, которые делятся на количественные и эвристические. В эвристи- 
ческих методах с помощью пассивного наблюдения за тестированием нового интерфейса с 
участием нескольких добровольцев опытный разработчик интерфейсов может узнать 
столько же ценной информации, сколько можно получить с помощью любого метода 
количественного анализа, но количественные методы помогают понять важнейшие 
аспекты взаимодействия человека с машиной [1]. 

Одним из лучших подходов к количественному анализу моделей интерфейсов яв- 
ляется классическая модель СОМ$ (Соа|5, Орегаюгз, Меод$, апа Зеесноп ге), разра- 
ботанная в 1983 г. Эша Сага, Твотлаз Р. Могап и АПеп МеууеЙ [2]. Существуют различные 
модели анализа пользовательских интерфейсов, которые базируются на СОМ5: СРМ- 
ООМ$, КГМ-СОМ$, МООМ$Г. Эти модели имеют универсальное применение и ис- 
пользуются для оценки систем мониторинга, контроля объектов, текстовых и графи- 
ческих редакторов и т.д. Следует отметить, что в интерфейсах электронных учебников 
необходимо учитывать процессы, происходящие в сознании человека при приобретении 
знаний. Одним из таких процессов является фокус внимания. Если интерфейс не продуман, 
то пользователю приходится при переключении фокуса внимания тратить много времени 
на интерфейс, в ущерб сосредоточения внимания на учебном материале. В целом электрон- 
ный учебник — сложная система со многими интерфейсами, в которых роль фокуса вни- 
мания различна, поэтому и требования к ним также различны. Наиболее интенсивное 
внимание при работе с электронными учебниками требуется при тестировании, поэтому 
интерфейс систем тестирования имеет существенное влияние на результаты обучения. 

Целью данной работы является исследование количественных методов анализа 
моделей пользовательских интерфейсов систем тестирования электронных учебников и 
разработка рекомендаций по их улучшению. 


Модель СОМ 


Анализ пользовательского интерфейса по модели СОМ$ основывается на том, 
что время, требующееся для выполнения какой-то задачи системой «пользователь — 
компьютер», является суммой всех временных интервалов, которые потребовались 
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системе для выполнения последовательности элементарных жестов, составляющих дан- 
ную задачу [1]. С помощью лабораторных исследований был получен набор временных 
интервалов, требуемых для выполнения различных жестов (табл. 1) [2]. 


Таблица 1 — Набор временных интервалов, требуемых для выполнения различных 
жестов 


Обозначение / Время Описание 


Нажатие клавиши. Время, необходимое для того, чтобы 


К =0.2с нажать клавишу. 

Р = 1.1с Указание. Время, необходимое пользователю для того, чтобы 
указать на какую-то позицию на экране монитора. 

Н = 0.4 с Перемещение. Время, необходимое пользователю для того, 
чтобы переместить руку с клавиатуры на ГУВ или с ГУВ на 
клавиатуру 

М = 1.35 с Ментальная подготовка. Время, необходимое пользователю 


ДЛЯ ТОГО, чтобы умственно подготовиться к следующему шагу. 


у Ответ. Время, в течение которого пользователь должен ожи- 
дать ответ компьютера 


На практике эти значения могут быть разными для неопытного или опытного Поль- 
зователя ПК, но с помощью этих типичных значений мы можем сделать правильную 
сравнительную оценку между двумя интерфейсами по уровню эффективности их исполь- 
зования [2]. 

Для сравнительной оценки интерфейсов пользователя были выбраны два электронных 
учебника (ЭУ) разработки Отдела электронных учебников Государственного универси- 
тета информатики и искусственного интеллекта (г. Донецк): «Практикум по физике» и 
«Мультимедиа-математика». Электронные материалы ЭУ «Практикум по физике» имеют 
представление в виде семантической сети и помещены в базу знаний ГУК [3]. 


Модель СОМ$ для интерфейсов систем 
тестирования ЭУ 


Проведем анализ пользовательского интерфейса системы тестирования с помощью 
модели СОМБ$ двух ЭУ. Как правило, в системах тестирования на каждый ответ от- 
водится определенное время. В общем случае это время складывается из времени 
обдумывания вопроса, времени работы с интерфейсом и времени переключения вни- 
мания с вопроса на интерфейс и с интерфейса на вопрос. При оценке рассматривалась 
ситуация, когда пользователь уже находится в режиме тестирования, подготовился к 
прохождению оценки знаний, дает ответы на вопрос не задумываясь, т.е. тратит на об- 
думывание ноль секунд. Количество вопросов в тесте равно четырем. Рассматривается сце- 
нарий, когда пользователь дает на первый вопрос верный ответ, а на второй — неверный. 

При тестировании знаний в ЭУ «Мультимедиа-математика» следует выполнить 
следующие действия: прочесть вопрос, перевести указатель манипулятора мышь на 
правильный вариант ответа, подтвердить правильный ответ на вопрос (рис. 1), про- 
честь сообщение о том, что ответ верный (рис. 2) и закрыть окно с сообщением. 
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Гы Обучение >) 


Задача: 


=3| Решите уравнение: ху’-2у= 2х* 
| | укажите тип предлагаемого уравнения: 


Шаг1: Выберите правильный вариант : 


4] у=д >” 
2| у+роу=ло 


31] ло&=л 0% 


Все варианты ошибочны 


ь 4 


Рисунок 1 — Интерфейс тестирования в ЭУ «Мультимедиа-математика» 
Я Обучение 535) 


Задача : 


=Э| Решите уравнение: ху’-2у= 2х* 


| | укажите тип предлагаемого уравнения: 


Шаг1: _ Выберите правильный вариант : 
М Решение: Шаг 3 


_2| у+роду=7 


3] лож=д о 


Все варианты ошибочны 


ь р 


Рисунок 2 — Интерфейс тестирования в ЭУ «Мультимедиа-математика» 
при правильном ответе на вопрос 


После этого происходит автоматический переход на следующий вопрос. Теперь в 
соответствии с заявленным сценарием необходимо перевести указатель манипулятора 
мышь на неверный вариант ответа, подтвердить выбор, получить сообщение, что ответ 
неверный и закрыть сообщение (рис. 3). 

ГВ обужние хо) 
Задача : 


=9| Решите уравнение: ху’-2у=2х* 


э| | Укажите тип предлагаемого уравнения: 


Шаг: | 8 Обучение | 
Решение неверно. 
И Е 2) Нажмите на кнопку "Переход" для 
= с повторения связанного с этой задачей 
теоретического материала. 
2] У+РрФу Г Переход | Закрыть 


31| лож= лож 


Все варианты ошибочны 


ь 1 


Рисунок 3 — Интерфейс тестирования в ЭУ «Мультимедиа-математика» 
при неправильном ответе на вопрос 
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Таким образом, по модели СОМ$ пользователь потратит на эти действия время: 


Тм =Н+Р+К+Р+К+Р+К+Р-+К+Р+К-+Р+К=Н+М+Р-+М+К 
+М+Р+М+К+М+Р+М+К+М+Р+М+К+М+Р-+М+К+М+Р+М 
+К=Н+М+Р+К+М+Р+К+М+Р+К+М+Р+К+М+Р+К+М+Р+ 
К=Н+6(М+Р+К) = 0.4с + 6(1.35с + 1.1с + 0.26) = 16.3с. 


При тестировании знаний в ЭУ «Практикум по физике» следует выполнить следующие 
действия: прочесть вопрос, перевести указатель манипулятора мышь на правильный ва- 
риант ответа, подтвердить правильный ответ на вопрос (рис. 3), перейти на следующий 
вопрос, перевести указатель манипулятора мышь на неверный вариант ответа, подтвердить 
выбор и нажать на кнопку «Проверить тест». 

В соответствии с моделью СОМ$ в данном случае пользователь потратит на эти 
действия время: 


То =Н+Р+К+Р+К+Р+К=Н+М+Р+М+К+М+Р+М+К+М+ 
Р+М+К=Н+М+Р-+К+М+Р+К+М+Р+К=Н+3(М +Р+К) = 0.4с + 
3(1.35с + 1.1с + 0.2с) = 8,35с. 


ыыы 


| ЛАБОРАТОРНИЙ ПРАКТИКУМ 
| 3 ФИЗИКИ 

для загальноосвтих шыл 
> №. 


Практикум з физики 


Вопрос 1 из 3 


Як виглядае основне рёвняння динамжи 
обертального руху твердого пла? 

Г) М=Ре 

М=Т=В 

Т=РМ 

е=т*с^2 


Вопрос 2 из 3 


Чи залежить прискорення пла вд 
прискорення обертального руху? 
Не залежить 

Залежить 

В деяких випадках 

9,8 


Вопрос 3 из 3 

Пароутворення - це... 

_| процес перетворення ридини у пару 
пароутворення, яке вдбуваеться при 
певному температурному режим! 

це зворотний процес, коли пара 
перетворюеться у рдину 

юальксть тепла, яке аддала пара при 
конденсаци 


Проверить тест 


| >> практикум. стаи роботи 


© ДУШ 2011 НН 


Рисунок 4 — Интерфейс тестирования в ЭУ «Практикум по физике» 
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Обсуждение 


То, что Тм> ТФ означает, что пользователь со средними навыками и способностями 
тратит больше времени на работу с интерфейсом системы тестирования ЭУ «Мульти- 
медиа-математика», чем с интерфейсом системы тестирования ЭУ «Практикум по физике». 
Эта количественная оценка пользовательских интерфейсов ЭУ совпадает с опытными 
данными, полученными при работе с учебниками группы студентов. Большинству ис- 
пытуемых интерфейс тестирования ЭУ «Практикум по физике» показался более удобным, 
чем интерфейс ЭУ «Мультимедиа-математика». Для ЭУ «Мультимедиа-математика» это 
связано в первую очередь с затратами времени при работе с модальными диалоговыми 
окнами, которые выдаются после каждого вопроса и содержат сообщение о правиль- 
ности / неправильности ответа, а также страничном представлении теста. 

Дальнейший анализ интерфейсов показывает, что в обоих случаях переключение 
внимания на интерфейс в течение 16 и 8 секунд негативно сказывается не только на 
общем времени, отведенном на ответ, но и на восстановлении внимания на следующем 
вопросе, т.е. на процессе прохождения тестирования в целом. Поэтому рациональным 
является сокращение времени работы с интерфейсом. 

К сожалению, создается впечатление, что современные интерфейсы разрабатываются 
программистами, которые стремятся все, что только можно, перенести на экран монитора, 
забывая, что многие функции можно выполнять с помощью клавиатуры гораздо быстрее, 
чем с помощью мыши, а следовательно, меньше времени занимать фокус внимания. 

Известно, что через зрительный канал человек получает наибольшее количество 
информации. В интерфейсах с «мышками» зрительный канал неоправданно часто пере- 
ключается на движение курсора и поиск требуемой «кнопки», т.е. в этот промежуток 
времени человек не получает никакой полезной информации. Кроме того, тратится до- 
полнительное время на восстановление фокуса внимания после работы с «мышкой», что 
приводит к более быстрой утомляемости и снижению работоспособности. 

Отметим один из недостатков «кнопок» на экране монитора — «мышкой» очень 
трудно научиться работать «вслепую», как этому можно научиться на клавиатуре. 
При «слепом» методе зрительный канал, а точнее фокус внимания, направлен и со- 
средоточен на получение информации и не отвлекается на посторонние функции. 
Однако научиться «слепому» методу вообще-то непросто, если кнопок на клавиатуре 
четыре десятка. С другой стороны, если кнопок 12, то сделать это гораздо проще. 
Например, с клавиатурой калькулятора или отдельной цифровой клавиатурой 101 
клавишной клавиатуры персонального компьютера можно работать одной рукой, не 
ГЛЯДЯ. 

В целом системы тестирования построены на принципе выбора правильного ответа 
из предлагаемого набора. При этом оптимальным количеством ответов в наборе является 
4 — 5 ответов. При меньшем количестве возрастает вероятность угадывания, при боль- 
шем увеличивается время анализа ответов, особенно, если ответы близки по содержанию. 
То есть, если пользоваться клавиатурой, то достаточно 5-и клавиш. Эти клавиши (кнопки) 
мы и видим на экране электронных учебников. 

Отметим также, что количество функций при тестировании невелико. Их можно 
свести к следующим: вернуться на предыдущий вопрос, если пользователь решил по- 
менять ответ; перейти на следующий вопрос после ответа, отменить выбор ответа; по- 
лучить результирующую оценку. Таким образом, вместе с номерами вопросов требуется 
всего 9 клавиш, даже меньше, чем для калькулятора. При условии, что в системах тести- 
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рования предусмотрен такой режим и человек часто ими пользуется, получить навык 
работы «вслепую» несложно, так как с 9-ю клавишами удобно работать тремя пальцами. 
На рис. 4 приведен вариант раскладки такой клавиатуры. 

Возможно это рудимент программистов, когда в первых интерфейсах нас, как 
пользователей, удивляло и завораживало, что перемещение рукой мыши вызывает пере- 
мещение курсора на экране монитора. При этом все наше внимание поглощается этим 


действием. 
1 У 3 
апзугег апугег апзу\ег 
4 5 
Опдо 
апзуег апзугег 


Ргеуле\з № № х+ 
Езатае 
фаезйоп диезйоп 


Рисунок 5 — Раскладка «клавиатуры» системы тестирования 


С позиций модели СОМ$ использование такой клавиатуры в интерфейсе тестиро- 
вания в несколько раз эффективнее использования манипулятора мышь. В данном случае 
зрительный канал человека не отвлекается на непроизводительные посторонние действия, 
к тому же время нажатия клавиш исчисляется долями секунды. При этом мы не на- 
стаиваем на отказе от графических интерфейсов. Пользователь вправе выбрать тот, 
который для него комфортнее для достижения главной цели — получения и оценки знаний. 


Выводы 


Результаты исследований показали, что модель СОМ$ применима для оценки 
пользовательских интерфейсов систем тестирования электронных учебников. 

Результаты методологии СОМ$ дают разработчикам подобных средств важную 
информацию для поиска новых идей в интерфейсах систем тестирования. 

Последнее время широкую популярность получили сенсорные экраны с Тоисй- 
интерфейсами. Предложенный подход к разработке «раскладки» клавиатуры можно 
использовать для различных приложений, использующих сенсорные экраны. Недостатком 
является то, что такой «клавиатуре» требуется дополнительная площадь на экране. 
Это будет уменьшать площадь для размещения полезной информации, кроме этого дви- 
жения руки и пальцев могут заслонять полезную информацию. Таким образом, Тоисв- 
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интерфейсы будут эффективнее, чем графические интерфейсы, но будут уступать 
клавиатурным. 
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О.С. Звенгородський, А.В. Бойко, С.Б. [ванова 

Ощнка штерфейсв тестових систем електронних шдручникв 

У статт! розглядаеться проблема ошнки 1нтерфейсв систем тестування електронних шдручникв. 
Проводиться пор1вняння 1нтерфейсв двох електронних шдручникв за методикою СОМ$. Наводяться 
результати розрахунку, обговорюються вар1анти 1нтерфейсв систем тестування знань електронних 
шдручниюв. 


А.5. Дуешеого@5Ку, А.Г. Воко, 5.В. Грлапоуа 

Е5ИтаНоп о! Тез Зует Пицегасе оЁ Несёгошс Техфоок$ 

п Фе агисе Фе рго ет о езйтайпс {е5 зузет пиегЁасе оЁ еесёготис {ех®фоокК$ 15 ехаттеа. ТВе сотрай5оп 
оЁ мо @месйошс {ехфооК$ Бу Фе СОМ$ шефодо\юэу 1$ таде. ТБе са1сиайоп гези5 аге отуеп ап айегтайуе 
@есгошс {ехФооК пиегРасез аге @5сиззе4. 


Статья поступила в редакцию 16.06.2011. 
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